Участники проекта AlmaLinux объявили о формировании специальной группы по интересам (SIG), которая займётся развитием направления НРС и ИИ. Подразделение под названием AlmaLinux HPC and AI SIG возглавляет Хайден Барнс (Hayden Barnes) — менеджер сообщества open source по задачам ИИ в корпорации HPE.

AlmaLinux фактически заполняет пробел, оставшийся после прекращения выпуска стабильных версий CentOS Linux. Поддержка этой ОС прекратилась в конце 2021 года, а не в 2029-м, как ожидалось. Место CentOS заняла CentOS Stream, вечная бета-версия RHEL.

Источник изображения: AlmaLinux

Группа HPC and AI SIG в составе AlmaLinux, как отмечается, состоит из экспертов по HPC и ИИ, которые выбрали эту ОС в качестве программной основы для своих проектов. В их число входят специалисты компаний — поставщиков оборудования для НРС-систем, участники ИИ-проектов open source, а также администраторы, развёртывающие AlmaLinux в исследовательских организациях.

Подразделение сформировано с тем, «чтобы гарантировать, что у пользователей есть ресурсы и поддержка сообщества, необходимые для максимизации преимуществ AlmaLinux» в рамках инициатив, связанных с НРС и ИИ. Участники SIG намерены взаимодействовать, внедрять инновации и обмениваться знаниями внутри сообщества AlmaLinux.

За пределами экосистемы AlmaLinux специалисты новой группы намерены развивать партнёрские отношения и сотрудничать с иными заинтересованными сторонами. AlmaLinux рассчитывает «оставаться в авангарде технологических достижений» в сферах НРС и ИИ.

Компания CIQ, поддерживающая Rocky Linux, анонсировала инициативу CIQ Bridge для пользователей платформы CentOS 7, жизненный цикл которой близится к завершению. Инициатива, как ожидается, поможет клиентам поддерживать свою IT-инфраструктуру в актуальном и защищённом состоянии в рамках миграции на Rocky Linux.

Поддержка CentOS, напомним, прекратилась в конце 2021 года, а не в 2029-м, как ожидалось. Место CentOS заняла CentOS Stream, вечная бета-версия RHEL. А в июне 2023 года Red Hat объявила о прекращении поддержки публикации исходного кода пакетов уже выпущенных релизов в репозитории CentOS. Впоследствии CIQ, Oracle и SUSE создали совместную торговую ассоциацию Open Enterprise Linux Association (OpenELA), чтобы противостоять политике Red Hat.

Вместе с тем основатель проекта CentOS Грегори Курцер (Gregory Kurtzer) в 2020 году представил Rocky Linux — новую свободную сборку RHEL. На эту платформу предлагается перейти пользователям CentOS 7, жизненный цикл которой закончится 30 июня 2024 года. Те клиенты, которым необходимо дополнительное время для перехода на альтернативную ОС, могут воспользоваться программой CIQ Bridge.

Источник изображения: CIQ

По сути, CIQ Bridge — это расширенная поддержка CentOS 7 сроком на три года: доступ к ней предоставляется по годовой подписке с фиксированной ставкой. Клиентам будут предоставляться обновления, а также заплатки для уязвимостей, имеющих рейтинг CVSS 7 и выше. Патчи для дыр с рейтингом CVSS 5 и CVSS 6 могут распространяться на дополнительных условиях.

По оценкам, на сегодняшний день более 385 тыс. компаний по всему миру применяют CentOS. Хотя многие организации успешно перешли на Rocky Linux и другие альтернативы Linux, некоторым клиентам сложно сделать это до 30 июня по ряду причин, включая проблемы с финансированием и нехватку специалистов. Таким пользователям программа CIQ Bridge даст дополнительное время для перехода на новую Linux-платформу.

Сама Red Hat объявила о предоставлении дополнительной четырёхлетней поддержки пользователям Red Hat Enterprise Linux (RHEL) 7. Обычно период поддержки этой платформы составляет 10 лет, но в случае RHEL 7 он увеличен до 14 лет.

Компания Mozilla анонсировала обновлённую версию инструмента llamafile с индексом 0.8.1. В данном релизе устранены ошибки, из-за которых происходило некорректное распознавание ускорителей AMD на базе GPU. Кроме того, реализованы некоторые другие изменения.

Напомним, llamafile даёт возможность упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе. Поддерживаются архитектуры x86-64 и ARM64, а также системы macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD.

Как отмечается, изначально в llamafile корректно определялись только числовые идентификаторы графических блоков AMD GFX, из-за чего возникали сбои при использовании определённого оборудования AMD Instinct/Radeon. Например, ускоритель Instinct MI250 имеет обозначение GFX90A IP, и символ «A» ранее не распознавался должным образом. В результате, при работе с такими GPU происходили ошибки. Теперь данная проблема устранена.

Источник изображения: AMD

Кроме того, в llamafile 0.8.1 имеется поддержка модели Phi-3 Mini 4k, а также LLaMA3, Grok, Mixtral 8x22b и Command-R. Производительность F16 повышена приблизительно на 20 % на платформе Raspberry Pi 5, примерно на 30 % — на Intel Skylake и на 60 % — на Apple M2.

В xz/liblzma выявлен вредоносный код, направленный на получение несанкционированного удаленного доступа по SSH (бэкдор) и исполнение команд (CVE-2024-3094). Зловред был внедрён в версии 5.6.0 и 5.6.1 и, как передаёт OpenNet, успел попасть в сборки и репозитории Gentoo, Arch Linux, Debian sid/unstable, Fedora Rawhide/40-beta, openSUSE factory/tumbleweed, LibreELEC, Alpine edge, Solus, CRUX, Cygwin, MSYS2 mingw, HP-UX, Homebrew, KaOS, NixOS unstable, OpenIndiana, Parabola, PCLinuxOS, OpenMandriva cooker и rolling, pkgsrc current, Slackware current, Manjaro, Void Linux. Впрочем, далеко не везде бэкдор может быть активирован.

Ситуацию усугубляет то обстоятельство, что разработчик, оказавшийся под подозрением, в последние годы принимал участие и в смежных проектах сообщества. Поэтому нет оснований для доверия исходному коду xz до выяснения всех деталей и последствий произошедшего. В частности, соответствующий репозиторий на GitHub уже заблокирован с сообщением: «Доступ к этому репозиторию был заблокирован сотрудниками GitHub из-за нарушения условий предоставления услуг GitHub».

Тем, кто успел получить инфицированные варианты ПО, рекомендуется откатиться до версий 5.4.6 или 5.4.1. Последний вариант более предпочтителен, так как эта версия была сформирована предыдущим сопровождающим. Сама атака оказалась очень изощрённой, а на её реализацию ушло приблизительно два года. Проблему практически случайно обнаружил разработчик, обративший внимание на необычное замедление (разница в 0,5 с) работы ssh-сервера. Следить за развитием ситуации можно на сайте проекта. А версии пакетов xz в разных проектах можно отслеживать в Repology.

Компания Redis Ltd. объявила о смене политики лицензирования: вместо ранее использовавшейся лицензии BSD (Berkeley Software Distribution) для свободного ПО будут применяться проприетарные лицензии Redis Source Available License (RSALv2) и Server Side Public License (SSPLv1).

Redis — это крайне популярная NoSQL-платформа. В 2010–2013 гг. разработку СУБД финансировала компания VMware, которая была приобретена корпорацией Broadcom за $69 млрд.

Сообщается, что лицензии RSALv2 и SSPLv1 будут применяться для версий СУБД начиная с релиза Redis 7.4. Говорится, что RSAL даёт возможность использовать, изменять, распространять и встраивать код в приложения, кроме тех случаев, когда продукт является коммерческим или используется для предоставления управляемых платных сервисов. В свою очередь, SSPL требует распространять под той же лицензией как код самого приложения, так и код всех компонентов, которые задействованы в составе, например, облачного сервиса.

Источник: Redis

«На практике ничего не изменится для сообщества разработчиков Redis: они продолжат пользоваться разрешительным лицензированием в рамках двойной лицензии», — говорится в заявлении компании. В соответствии с новой политикой поставщики облачных услуг, размещающие сервисы Redis, больше не смогут бесплатно использовать исходный код проекта. Изменения, как утверждается, нацелены на поддержку сообщества разработчиков Redis. Дело в том, что некоторые облачные провайдеры создают коммерческие продукты на базе Redis, но не поддерживают собственно развитие СУБД. Новые лицензии призваны предотвратить подобную практику.

Между тем уже появились несколько форков Redis. Так, организация Linux Foundation запустила проект Valkey, который предполагает дальнейшее развитие Redis 7.2.4 по лицензии BSD с открытым исходным кодом. Для Valkey заявлена поддержка платформ Linux, macOS, OpenBSD, NetBSD и FreeBSD. В проекте Valkey принимают участие такие компании и облачные провайдеры, как Amazon Web Services (AWS), Google Cloud, Oracle, Ericsson и Snap Inc.

Кроме того, появился форк Redis под названием Redict. Его основателем является Дрю ДеВолт (Drew DeVault), создатель и генеральный директор SourceHut. Проект базируется на Redis версии 7.2.4, а в качестве лицензии используется LGPLv3. Исходный код Redict общедоступен на Codeberg.

Сообщается также, что на фоне изменения лицензионной политики Redis Ltd. заключила соглашение о приобретении Speedb — разработчика движка хранения данных. Redis будет использовать Speedb для улучшения процессов обработки информации в реальном времени и предоставления сервисов с малыми задержками. Ожидается, что Redis выпустит первую версию своей платформы, интегрированной со Speedb, до конца 2024 года. Финансовые условия сделки не раскрываются.

Отметим, что в конце 2018 года MongoDB сменила лицензию с GNU AGPLv3 на разрабатонную ею же SSPL (в дополнение к проприетарной лицензии), причём новая лицензия была введена ровно по той же причине, что и в случае Redis. SSPL не признаётся свободным ПО организацией Open Source Initiative (OSI) и некоторыми крупными дистрибутивами Linux.

Несмотря на частые анонсы новых решений, ситуация на рынке ускорителей всё ещё складывается в пользу NVIDIA, которая существенно раньше своих соперников поняла всю важность этого рынка и делает всё возможное для продвижения собственной программной платформы CUDA.

CUDA позволяет разрабатывать приложения, работающие только на аппаратном обеспечении NVIDIA. С учётом взрывной популярности ИИ такая ситуация позволяет компании держать высокие цены, да и сама платформа хорошо отшлифована временем. Но вкупе с дефицитом ускорителей NVIDIA всё это негативно влияет на развитие индустрии ИИ в целом, что закономерно вызывает недовольство со стороны разработчиков.

С целью положить конец такому порядку ряд крупных компаний-разработчиков и полупроводниковых гигантов, включая Intel, Qualcomm, Samsung, Arm и Google сформировали альянс, названный The Unified Acceleration Foundation (UXL). Целью этого союза является создание универсального открытого ПО, которое позволит разработчикам ИИ-решений отказаться от CUDA и использовать ускорители других производителей.

Источник изображения: Intel

Сама группа UXL была сформирована ещё в сентябре прошлого года ведущими производителями микрочипов, но на днях она объявила о расширении, а также уточнила, как именно намерена бороться с CUDA. В основу нового, открытого мультиплатформенного стандарта ляжет Intel OneAPI, уходящий корнями в SYCL и OpenCL. В наследство достанутся и различные наработки Intel, включая инструмент SYCLomatic, позволяющий конвертировать CUD-код в SYCL-код, способный выполняться практически на любой платформе, в том числе и от NVIDIA.

UXL надеется сформировать стандартную модель программирования для ИИ-вычислений. Спецификации должны быть утверждены уже в I полугодии, а к концу 2024 года UXL, согласно планам, достигнет зрелого состояния. Группа намеревается привлечь и других производителей чипов, а также крупных провайдеров облачных услуг, включая Microsoft Azure и Amazon. Примечательно, что AMD к UXL решила не присоединяться.

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о выходе DBRX, большой языковой модели (LLM) общего назначения, которая, по его словам, превосходит в стандартных бенчмарках все существующие LLM с открытым исходным кодом, а также некоторые проприетарные ИИ-модели.

Стартап заявил, что открывает исходный код модели, чтобы побудить пользователей отказаться от коммерческих альтернатив. Он отметил, что согласно исследованию Andreessen Horowitz LLC, почти 60 % лидеров в области ИИ-технологий заинтересованы в увеличении использования или переходе на open source, если открытые модели после тюнинга примерно соответствуют по производительности проприетарным моделям.

Источник изображений: Databricks

«Я считаю, что самые ценные данные хранятся внутри предприятий. ИИ как бы исключён из этих сфер, поэтому мы пытаемся реализовать это с помощью моделей с открытым исходным кодом», — цитирует ресурс SiliconANGLE заявление гендиректора Databricks Али Годси (Ali Ghodsi) на брифинге с журналистами. По словам Годси, лучше всего DBRX подходит для сфер, где критически важны управление и безопасность, например, для финансовых услуг и здравоохранения, или там, где важен тон ответов, например, в области самообслуживании клиентов.

DBRX использует архитектуру Mixture of Experts (MoE, набор экспертов), которая делит процесс обучения между несколькими специализированными «экспертными» подсетями. Каждый «эксперт» владеет определёнными навыками, а исходный запрос оптимальным образом распределяется между «экспертами». Вице-президент Databricks по генеративному ИИ, перешедший в компанию вместе с приобретением MosaicML, соучредителем которой он был, заявил, что MoE работает даже лучше человека.

Хотя DBRX с 132 млрд параметром почти в два раза больше Llama 2, она всё равно вдвое быстрее. Также сообщается, что DBRX превзошла существующие LLM с открытым исходным кодом Llama 2 70B и Mixtral-8x7B (тоже MoE), а также запатентованную GPT-3.5 Turbo в тестах на понимание языка, программирование, математику и логику. Обучение модели на общедоступных и лицензированных источниках данных в течение двухмесячного периода обошлось Databricks всего в $10 млн с использованием 3 тыс. ускорителей NVIDIA H100.

По словам компании, при создании приложений генеративного ИИ модель DBRX можно использовать вместе с Databricks Mosaic AI, набором унифицированных инструментов для создания, развёртывания и мониторинга моделей ИИ. Базовая модель DBRX Base и продвинутая модель DBRX Instruct доступны по открытой лицензии для исследований и коммерческого использования на GitHub и Hugging Face. Разработчики могут уже сегодня создавать свои варианты DBRX на основе собственных данных на платформе Databricks.

Максим Дунин, один из ключевых разработчиков популярного веб-сервера nginx, сообщил об уходе из проекта. Вместо этого он начнёт развивать альтернативный продукт под названием FreeNginx. Цель этой инициативы, официально анонсированной 14 февраля 2024 года, заключается в том, чтобы «оградить разработку nginx от произвольного корпоративного влияния».

В открытом письме Дунин отмечает, что компания F5 (владелец nginx) закрыла московский офис в 2022 году, но сам Дунин остался в российской столице. При этом стороны заключили соглашение о том, что он продолжит участвовать в разработке nginx в качестве волонтёра. Так и было практически два года, однако затем произошли изменения на корпоративном уровне.

Источник изображения: nginx

«К сожалению, недавно новый нетехнический менеджмент F5 решил, что лучше знает, как управлять проектами open source. В частности, они решили вмешаться в политику безопасности nginx, реализуемую годами, игнорируя как устоявшиеся нормы, так и позицию разработчиков», — пишет Дунин.

По его словам, с точки зрения F5 как владельца nginx изменения понятны, но они противоречат соглашению о разработке. В этой связи, говорит Дунин, он больше не в состоянии контролировать изменения, вносящиеся в nginx, а поэтому не может рассматривать продукт как бесплатный проект open source, разработанный ради общественного блага.

«Поэтому с сегодняшнего дня я больше не буду участвовать в nginx. Вместо этого я начинаю альтернативный проект, которым будут управлять разработчики, а не корпорации», — заявляет Дунин.

Нужно отметить, что ранее разработчики nginx учредили в России компанию «Веб-Сервер», которая развивает альтернативный проект Angie. У это продукта имеется коммерческая PRO-версия, а сам веб-сервер включён в реестр отечественного ПО.

Изменения, которые компания Red Hat внесла в политику доступа к исходным кодам дистрибутива Red Hat Enterpise Linux (RHEL), создают непредвиденные сложности для команд разработчиков CentOS Special Interest Group (SIG), о чём сообщает ресурс Phoronix.

В июне 2023 года, напомним, Red Hat объявила о прекращении поддержки публикации исходного кода пакетов уже выпущенных релизов в репозитории CentOS. Публично остаются доступны только репозитории CentOS Stream, «вечной бета-версии» будущих релизов RHEL.

Исходники RHEL хранятся на клиентском портале Red Hat, доступном только при наличии контракта. Участники рынка заявили, что действия Red Hat создают нестабильность и не соответствуют принципам open source. Впоследствии CIQ, Oracle и SUSE создали совместную торговую ассоциацию Open Enterprise Linux Association (OpenELA), чтобы противостоять политике Red Hat.

Источник изображения: Yang / Unsplash

Однако новая практика этой компании продолжает оказывать негативное влияние на деятельность приближенных к ней разработчиков. В частности, группа Kmods SIG, поддерживающая дополнительные модули ядра для CentOS Stream и RHEL, в настоящее время «не может создавать пакеты для Red Hat Enterprise Linux по юридическим причинам». Разработчики пытаются решить этот вопрос с Red Hat и возобновить деятельность «как можно скорее», но конкретные сроки не называются. Со сложностями также столкнулась группа CentOS Hyperscale SIG. Hyperscale SIG теперь опирается на Fedora, а не на дерево CentOS/RHEL.

В 2024 году проекту OpenWrt, дистрибутиву Linux, разработанному для использования в маршрутизаторах и других сетевых и встраиваемых решенияз, исполняется 20 лет. Сообщество разработчиков OpenWrt решило отпраздновать юбилей созданием беспроводного роутера OpenWrt One (AP-24.X), построенного на плате в стиле Banana Pi.

Естественно, предполагается максимальное использование open source ПО (за исключением прошивки беспроводного чипа), наличие U-Boot и поддержка в ядре Linux. Ожидается, что стоимость устройства не будет превышать $100. Схемы сборки устройства будут поставляться с открытой лицензией. Продажей устройства займётся некоммерческая организация Software Freedom Conservancy, ответственная за юридическую защиту проекта OpenWrt.

Изображение: Banana Pi

Платформа будет построена на SoC MediaTek MT7981B. Поддержку Wi-Fi 6 обеспечит чип MediaTek MT7976C (2×2 2,4 ГГц + 3×3/2×2 + DFS 5 ГГц). Объём оперативной памяти DDR4 составит 1 Гбайт, ёмкость флеш-памяти SPI NAND — 128 Мбайт, SPI NOR (загрузчик + служебные данные) — 4 Мбайт. Расширить память можно будет с помощью слота M.2 для NVMe SSD (PCIe 2.0 x1).

Устройство получит два разъёма Ethernet (2.5GbE + 1GbE), порты USB 2.0 Type-A и USB-C (UART, консоль, CDC-ACM, питание), JTAG, RTC (с разъёмом для батарейки) и слот mikroBUS. Также сообщается о кнопке сброса и пользовательской кнопке на корпусе, механическом переключателе режима загрузки (восстановление или штатный режим) и четырёх светодиодах. Создатели надеются получить собственный OUI-блок, который впоследствии можно будет задействовать в других open source проектах.

Разработчики намерены сделать устройство максимально защищённым, в том числе от «окирпичивания». Этому будут способствовать несколько режимов восстановления, простой доступ к консоли и применение внешнего аппаратного watchdog-монитора. А благодаря слоту M.2 можно будет выполнить загрузку дополнительных дистрибутивов, таких как Debian или Alpine.